DeepPATH:识别与诊断除了诊断任务自动化,CPATH方法还可用于为病理学家提供更多信息。例如,提取乳腺癌WSI中有丝分裂细胞的2平方毫米热点,就可以根据乳腺癌患者治疗指南(由美国临床肿瘤学会发布)的建议进行肿瘤分级。这种方法的表现与病理学家相当,并且可以减少不同观察者间的诊断差异。使用不同颜色标记前列腺癌区域以代表不同的Gleason分级以及使用CPATH区分不同腺肺癌亚型的生长模式,都能产生类似的结果。此外,分割、检测和分类方法的组合可以对已建立的用于临床实践的生物标志物进行客观量化。一个例子是对肿瘤浸润淋巴细胞的评估,这可以通过苏木精和伊红(H&E)染色或免疫组织化学(IHC)分割载玻片的基质区域并检测基质内淋巴细胞来实现。使用这种方法,肿瘤浸润淋巴细胞的存在被证明与肺腺癌的复发和基因突变相关。再比如与肿瘤内基质量相关的生物标志物,例如肿瘤-基质比,可以通过图像分割并计算肿瘤和肿瘤相关基质之间的比率来评估。再比如用于对患者进行免疫治疗分层的程序性死亡配体1(PD-L1)阳性细胞量化,可以通过检测阳(也可能是阴性)细胞,或者通过分割PD-L1阳性和PD-L1阴性区域,甚至直接从H&E玻片预测。肺癌识别—from Nature Medicine文章:Classification and mutation prediction from non–small cell lung cancer histopathology images using deep learning, Nature Med., vol. 24, no. 10, pp. 1559–1567, 2018. 综述:肺癌是发病率和死亡率增长最快,对人群健康和生命威胁最大的恶性肿瘤之一。非小细胞肺癌主要有2类:腺癌和鳞状细胞癌分类,所以将tiles分类为2种癌症与正常3类中的一种。
图1 LUSC和LUAD肺癌检测
完整的深度学习诊断系统—from Nature Machine Intelligence
文章:Pathologist-level interpretable whole-slide cancer diagnosis with deep learning, Nature Machine Intelligence, 2019.
前列腺癌打分与诊断—from Lancet OncolGleason分级是一种被广泛采用的前列腺癌组织学分级的方法。由于Gleason分级与生物学行为和预后关联良好,逐渐得到承认,使用日渐广泛,成为制定前列腺癌治疗方案的重要参考指标。20世纪90年代以来,美国癌症综合网推荐的前列腺癌治疗指南中,Gleason分级、前列腺特异性抗原(PSA)水平和肿瘤分期是决定治疗方案的最重要的指标。文章:Automated deep-learning system for Gleason grading of prostate cancer using biopsies: A diagnostic study, Lancet Oncol., vol. 21, no. 2, pp. 233–241, Feb. 2020.文章:Artificial intelligence for diagnosis and grading of prostate cancer in biopsies: A population-based, diagnostic study,” Lancet Oncol., vol. 21, no. 2, pp. 222–232, Feb. 2020.文章:Deep-learning approaches for Gleason grading of prostate biopsies, Lancet Oncol., vol. 21, no. 2, pp. 187–189, Feb. 2020.综述:用Inception v3模型做前列腺活检的Gleason grading打分
文章:Automated tubule nuclei quantification and correlation with oncotype DX risk categories in ER+ breast cancer whole slide images, Sci. Rep., vol. 6, no. 1, p. 32706, Dec. 2016.综述:简单的细胞核检测,再进行分类。然后统计细胞类型直方图,来判断是高风险还是低风险。这篇文章针对雌激素受体(estrogen receptor ER+)乳腺癌。Oncotype DX是一种对21个基因表达的测定,包含16种已知的和癌症相关的基因和5种参考基因。这里假设小管细胞核数目和细胞核总数的比例(TFI)与对应的ODX风险类别具有相关性。
图6 基因表达分类
根据有丝分判断基因表达对应的癌症种类
文章:A deep learning based strategy for identifying and associating mitotic activity with gene expression derived risk categories in estrogen receptor positive breast cancers,” Cytometry A, vol. 91, no. 6, pp. 566–573, Jun. 2017.综述:这篇文章则是检测有丝分裂的细胞核,分类后得到直方图再用SVM分类得到风险高还是低的判断。图7 有丝分裂表征预测基因表达
预测RNA-Seq表达—from Nature Communications
文章:A deep learning model to predict RNA-Seq expression of tumours from whole slide images, Nature Communications, 2020.综述:从病理图像预测RNA序列表达。该方法为每一个tile关联其对于多个基因突变的RNA转录情况。最终为每一种突变形成其全画幅概率图。根据这些信息还可以做出全局性的预测,比如卫星不稳定性的预测。图8 从病理图像预测RNA转录
预测胃肠癌微卫星不稳定性—from Nature Medicine
文章:Deep learning can predict microsatellite instability directly from histology in gastrointestinal cancer, Nature Med., vol. 25, no. 7, pp. 1054–1056, Jul. 2019.综述:微卫星不稳定性(MSI)决定了胃肠癌患者是否会对免疫疗法的有好的反应。然而,在临床实践中,并不是每个患者都会进行MSI 测试,因为这需要额外的遗传或免疫组织化学实验。该文章使用深度残差网络可以直接从 H&E 组织学预测 MSI。注:胃癌:(gastric (stomach) adenocarcinoma, STAD)直肠癌:(colorectal cancer, CRC)图9 检测出癌症区域后再分类成微卫星不稳定和稳定2类
肿瘤浸润淋巴细胞的空间组织和分子关联
文章:Spatial organization and molecular correlation of tumor-infiltrating lymphocytes using deep learning on pathology images,” Cell Rep., vol. 23, no. 1, pp. 181–193, 2018.综述:肿瘤浸润淋巴细胞(TIL)表征与13种癌症的对应,通过神经网络生成对应的空间Map再进行分类。图10 肿瘤浸润淋巴细胞(TIL)Map表征获得流程
文章:Deep learning for prediction of colorectal cancer outcome: A discovery and validation study,” Lancet, vol. 395, no. 10221, pp. 350–360, Feb. 2020.综述:结肠直肠癌预后乐观性估计。采用二个尺度多模型进行分数回归。
图11 预后乐观/不乐观估计流程
间皮瘤存活时间估计—from Nature Medicine
文章:Deep learning-based classification of mesothelioma improves prediction of patient outcome,” Nature Med., vol. 25, no. 10, pp. 1519–1525, Oct. 2019.综述:恶性间皮瘤 (Malignant mesothelioma, MM),一种侵袭性癌症,主要根据组织学进行诊断。间皮瘤分为三种组织学类型:上皮样、双相和肉瘤样 MM。MM是一种高度复杂和异质性的疾病,其诊断和组织学定型困难。该文章提出了MesoNet 来预测患者存活时间。实验证明MesoNet 比病理学常规预测更准确。它不但能够进行预测,而且能够确定对这项任务有贡献的组织区域。这些区域主要位于基质中,是与炎症、细胞多样性和空泡化有关的组织学特征。这说明深度学习拥有发现新的biomarker的潜能。图12 间皮瘤存活估计流程术语:Epithelioid MM (EMM) :上皮样的MMSarcomatoid (SMM) :肉瘤样的MMTransitional patterns (TMM) :过渡形态的MMTiles of unknown significance (TUS):难以判定的MM
肝细胞癌存活预后预测
文章:Predicting survival after hepatocellular carcinoma resection using deep-learning on histological slides,” J. Hepatol., vol. 73, p. S381, Aug. 2020.综述:这篇文章介绍了肝细胞癌切除术后的存活预测。图13 注意力机制进行病症风险打分流程
内分泌疗法后乳腺癌复发预测
文章:Relevance of spatial heterogeneity of immune infiltration for predicting risk of recurrence after endocrine therapy of ER+ breast cancer,” JNCI, J. Nat. Cancer Inst., vol. 110, no. 2, pp. 166–175, Feb. 2018.综述:用神经网络根据免疫浸润的空间异质性与内分泌疗法后复发的联系预测复发风险。流程:无监督分割细胞核,有监督细胞核分类,平滑,癌细胞团分类。结果发现,免疫细胞丰富程度和无复发无关。但免疫细胞聚集程度和无复发有较强的相关性。
肝癌复发预测
文章:Spatial architecture and arrangement of tumor-infiltrating lymphocytes for predicting likelihood of recurrence in early-stage non–small cell lung cancer,” Clin. Cancer Res., vol. 25, no. 5, pp. 1526–1534, Mar. 2019.综述:训练神经网络直接利用细胞团密度判别是否复发。图14 复发与未复发组织区别:细胞团紧密程度